Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes
Where-OPD：合成场景下空间引导的 MLLM 在线自蒸馏
🧭 多模态自蒸馏 · 空间感知提升
Valeo.ai · Sorbonne Université, CNRS, ISIR · Institut universitaire de France (IUF) · ILLS, CNRS, Montreal
提出用文本空间引导作为特权信息，通过在线策略自蒸馏提升 MLLM 空间感知，合成训练可迁移真实基准
📌 工作参考价值（4 点）
- 电商/商品视觉问答：可用程序化生成商品布局图、货架图或广告素材，自动获得物体身份与坐标，构造带空间提示（如『在 (x,y) 附近发现绿色标签』）的 QA 数据做自蒸馏，提升模型对商品计数、空间关系（前后/遮挡/相邻）和属性识别，无需人工标注。
- 文档/图表理解：对详情页、数据报表、广告资质图生成合成文档并注入 layout 坐标信息，蒸馏出能定位关键区域并整合多区域证据的学生模型，可用于 RAG 中的视觉证据定位、广告合规审核和图表指标抽取。
- 推理成本不增加：教师仅在训练时使用空间 hint，学生推理时只依赖图像和问题，适合与 LoRA/Adapter 结合部署；且 on-policy self-distillation 无需外部大模型或人工标注，工程接入成本低。
- 合成到真实迁移结论：该工作验证了合成场景训练可提升真实感知基准（平均 +3.23 点），可作为低成本增强长尾视觉任务（如稀有商品、复杂陈列）的先验，但需注意合成场景的分布覆盖范围。